Linux下配置（大页）Hugepages

2023-01-28 12:01| 来源: 网络整理| 查看: 265

配置Hugepages官方文档地址

首先介绍下HugePages

HugePages是集成到Linux内核2.6中的功能。启用HugePages使操作系统能够支持大于默认值（通常为4KB）的内存页面。使用大页可以减少访问页表条目所需的系统资源量来提高系统性能。HugePages可用于32位和64位的系统配置。根据内核版本和硬件架构，大页大小从2MB到256MB不等。对于Oracle数据库，使用HugePages可减少页面状态的操作系统维护，并增加页表缓冲（TBL）的命中率

没有HugePages，操作系统将每个4KB的内存保存为一个页面，当它被分配给SGA时，该页面的生命周期（dirty，free,mapped to process等）根据系统内核保持最新的状态。使用HugePages,操作系统页表（虚拟内存到物理内存映射）较小，因为每个页表条目都指向从2MB到256MB的页面。并且内核较少的页面，其生命周期一定会被监视。

注意2MB大小的HugePages可用于Linux x86-64，Linux x86和IBM：Linux on System z.

以下是使用HugePages的优点： ·通过增加TLB命中来提高性能。 ·页面被锁定在内存中，不会被交换出来，保证像SGA这样的共享内存保留在RAM中。 ·连续的页面是预先分配的，不能用于其他任何东西，而只能用于System V共享内存（例如：SGA） ·由于更大的页面大小，对于虚拟内存的这部分的内核而言，更少的记录工作

在Linux上配置HugePages 1.编辑/etc/security/limits.conf文件中的 memlock设定，memlock是以KB为单位，并且比内存稍微小一点，例如：如果你的内存是64GB，添加以下条目来增加最大的锁定内存限制 *soft memlock 60397977 *hard memlock 60397977

你还可以设置比SGA更高的memlock值

2.登录oracle用户，运行 ulimit -l 命令确认memlock设定完成： ulimit -l 3.运行下面的命令来显示Hugepagesize变量的值 grep Hugepagesize /proc/meminfo 4.完成一下步骤，创建一个脚本，该脚本为当前共享内存端计算之后推荐的hugepages值

下面的例子需要根据自己的环境进行更改 a.创建一个名称为 hugepages_setting.sh b.添加下面内容到文件中

#!/bin/bash # # hugepages_settings.sh # # Linux bash script to compute values for the # recommended HugePages/HugeTLB configuration # # Note: This script does calculation for all shared memory # segments available when the script is run, no matter it # is an Oracle RDBMS shared memory segment or not. # Check for the kernel version KERN=`uname -r | awk -F. '{ printf("%d.%d\n",$1,$2); }'` # Find out the HugePage size HPG_SZ=`grep Hugepagesize /proc/meminfo | awk {'print $2'}` # Start from 1 pages to be on the safe side and guarantee 1 free HugePage NUM_PG=1 # Cumulative number of pages required to handle the running shared memory segments for SEG_BYTES in `ipcs -m | awk {'print $5'} | grep "[0-9][0-9]*"` do MIN_PG=`echo "$SEG_BYTES/($HPG_SZ*1024)" | bc -q` if [ $MIN_PG -gt 0 ]; then NUM_PG=`echo "$NUM_PG+$MIN_PG+1" | bc -q` fi done # Finish with results case $KERN in '2.4') HUGETLB_POOL=`echo "$NUM_PG*$HPG_SZ/1024" | bc -q`; echo "Recommended setting: vm.hugetlb_pool = $HUGETLB_POOL" ;; '2.6'|'3.8') echo "Recommended setting: vm.nr_hugepages = $NUM_PG" ;; *) echo "Unrecognized kernel version $KERN. Exiting." ;; esac # End

c.运行下面的语句修改文件权限

chmod +x hugepages_settings.sh 5.运行hugepages_settings.sh脚本计算hugepages的配置的值 ./hugepages_settting.sh 6.设置内核参数 sysctl -w vm.nr_hugepages=value_displayed_in_srtp_5 (第5步得出来的值) 7.将下面的语句添加到/etc/sysctl.conf，使得每次计算机重启之后值还是有效的 vm.nr_hugepages=value_displayed_in_step_5 8.重启服务器

注意运行下面的命令，去查看hugepages是否有效的

grep Huge /proc/meminfo hugepages局限

自动内存管理（AMM）和HugePages不兼容。当您使用AMM时，通过创建文件/dev/shm分配整个SGA内存。当Oracle数据库使用AMM分配SGA时，不会保留HugePages。要在Oracle数据库12c上使用HugePages，必须禁用AMM。

如果在32位环境中使用VLM，则不能使用HugePages作为数据缓冲区缓存。可以使用SGA的其他部分，如大页面 share_pool，large_pool等，使用共享内存文件系统

除非管理员通过修改可用页面数量或修改池大小来更改HugePages配置，否则HugePages不会在系统启动后分配或释放。如果在系统启动期间所需的空间不保留在内存中，则HugePages分配失败。

实验过程：

实验环境：oracle11g11.2.0.4单实例+centos7

1.查看系统内核版本（这里的内核版本是3.10） [root@orcl oracle]# uname -r 3.10.0-327.el7.x86_64 2.编辑/etc/security/limits.conf文件配置memlock参数（这是我虚拟机添加的参数） oracle sofr memlock 3072 oracle hard memlock 3072

切换为oracle用户确认参数生效

[oracle@orcl ~]$ ulimit -l 64 3.查了Hugepages变量值 [oracle@orcl ~]$ grep Hugepagesize /proc/meminfo Hugepagesize: 2048 kB 4.使用oracle官方文档提供的脚本计算hugepages的值 #!/bin/bash # # hugepages_settings.sh # # Linux bash script to compute values for the # recommended HugePages/HugeTLB configuration # # Note: This script does calculation for all shared memory # segments available when the script is run, no matter it # is an Oracle RDBMS shared memory segment or not. # Check for the kernel version KERN=`uname -r | awk -F. '{ printf("%d.%d\n",$1,$2); }'` # Find out the HugePage size HPG_SZ=`grep Hugepagesize /proc/meminfo | awk {'print $2'}` # Start from 1 pages to be on the safe side and guarantee 1 free HugePage NUM_PG=1 # Cumulative number of pages required to handle the running shared memory segments for SEG_BYTES in `ipcs -m | awk {'print $5'} | grep "[0-9][0-9]*"` do MIN_PG=`echo "$SEG_BYTES/($HPG_SZ*1024)" | bc -q` if [ $MIN_PG -gt 0 ]; then NUM_PG=`echo "$NUM_PG+$MIN_PG+1" | bc -q` fi done # Finish with results case $KERN in '2.4') HUGETLB_POOL=`echo "$NUM_PG*$HPG_SZ/1024" | bc -q`; echo "Recommended setting: vm.hugetlb_pool = $HUGETLB_POOL" ;; '2.6'|'3.8') echo "Recommended setting: vm.nr_hugepages = $NUM_PG" ;; *) echo "Unrecognized kernel version $KERN. Exiting." ;; esac # End

创建一个脚本，并赋予执行权限，将上面脚本添加进文件

[oracle@orcl ~]$ touch hugepages_setting.sh [oracle@orcl ~]$ chmod +x hugepages_setting.sh

执行

[oracle@orcl ~]$ ./hugepages_setting.sh

注意！这里我执行的时候遇到三个问题：

1.bc: command not found需要下载bc文件

解决办法：

[root@orcl oracle]# yum -y install bc 2.执行之后天提示： [root@orcl oracle]# ./hugepages_setting.sh Unrecognized kernel version 3.10. Exiting.

解决办法：这里主要是我的内核版本之前查看过是3.10，而这脚本不识别，所以我们需要把我们的内核版本添加进去,如下所示，在3.8之后添加上我们的内核版本。

#!/bin/bash # # hugepages_settings.sh # # Linux bash script to compute values for the # recommended HugePages/HugeTLB configuration # # Note: This script does calculation for all shared memory # segments available when the script is run, no matter it # is an Oracle RDBMS shared memory segment or not. # Check for the kernel version KERN=`uname -r | awk -F. '{ printf("%d.%d\n",$1,$2); }'` # Find out the HugePage size HPG_SZ=`grep Hugepagesize /proc/meminfo | awk {'print $2'}` # Start from 1 pages to be on the safe side and guarantee 1 free HugePage NUM_PG=1 # Cumulative number of pages required to handle the running shared memory segments for SEG_BYTES in `ipcs -m | awk {'print $5'} | grep "[0-9][0-9]*"` do MIN_PG=`echo "$SEG_BYTES/($HPG_SZ*1024)" | bc -q` if [ $MIN_PG -gt 0 ]; then NUM_PG=`echo "$NUM_PG+$MIN_PG+1" | bc -q` fi done # Finish with results case $KERN in '2.4') HUGETLB_POOL=`echo "$NUM_PG*$HPG_SZ/1024" | bc -q`; echo "Recommended setting: vm.hugetlb_pool = $HUGETLB_POOL" ;; '2.6'|'3.8'|'3.10') echo "Recommended setting: vm.nr_hugepages = $NUM_PG" ;; *) echo "Unrecognized kernel version $KERN. Exiting." ;; esac # End 3.执行完脚本之后得到的结果是1，对于这个结果有两种可能： #一.数据库未启动 #二.查询了文档发现hugepage和AMM不兼容，使用hugepage必须关闭AMM

解决办法： 1).启动数据库 2).查看参数

SQL> show parameter target NAME TYPE VALUE ------------------------------------ ----------- ------------------------------ archive_lag_target integer 0 db_flashback_retention_target integer 1440 fast_start_io_target integer 0 fast_start_mttr_target integer 0 memory_max_target big integer 0 memory_target big integer 0 parallel_servers_target integer 16 pga_aggregate_target big integer 236M sga_target big integer 500M

不使用AMM的标志, 四个参数（也就是只设置pga和sga的大小）修改命令，修改完之后需要重启数据库：

ALTER SYSTEM RESET memory_target SCOPE=SPFILE; ALTER SYSTEM RESET memory_max_target SCOPE=SPFILE; ALTER SYSTEM SET sga_target=? m SCOPE=SPFILE; ALTER SYSTEM SET pga_aggregate_target=? m SCOPE=SPFILE; SHUTDOWN IMMEDIATE; STARTUP;

修改完上面的问题之后执行得到的结果

[root@orcl oracle]# ./hugepages_setting.sh Recommended setting: vm.nr_hugepages = 255

5.设置内核参数并将语句添加到/etc/sysctl.conf中

[root@orcl oracle]# sysctl -w vm.nr_hugepages=255 vm.nr_hugepages = 255 [root@orcl oracle]# echo "vm.nr_hugepages=255" >> /etc/sysctl.conf

6.重启服务器并查看参数是否配置正确

[root@orcl oracle]# grep Huge /proc/meminfo AnonHugePages: 10240 kB HugePages_Total: 255 HugePages_Free: 255 HugePages_Rsvd: 0 HugePages_Surp: 0 Hugepagesize: 2048 kB

7.重点–一定要重启服务器只有重启才会生效

整个配置过程结束

简单介绍下AMM：是oracle11g提供的自动内存管理结合10提到ASMM我们可以大致配置为以下几种（这里不写参数只是介绍概念） AMM：只需设置memory_target,memory_max_memory_target(这个参数不是强制控制内存上限)不设置SGA和PGA大小，有Oracle自动管理内存不使用AMM就是值设置sga和pga大小，我们也可以设置memory大小和sga的大小。这样pga会由oracle自动管理，反之亦然。

以上是我整个实验的过程，如有错误还请之处。

【本文地址】

公司简介

联系我们